AI资讯新闻榜单内容搜索-Incomplete

关键词: AI新闻,模型训练,不完全学习现象,Incomplete Learning Phenomenon

SFT是LLM从“通才”变成“专才”的关键步骤。业界默认做法是：准备标注数据（QA对、指令-回复对等）在基座模型上跑SFT训练。看loss曲线收敛了→认为训练完成。但问题在于：loss是全局平均，掩盖了样本间的差异。loss收敛只代表“大部分样本学会了”——那些始终学不会的样本被淹没了。